import scrapy
from mySpider.items import ItcastItem


class ItcastSpider(scrapy.Spider):
    """
    name: 这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
    allow_domains : 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
    start_urls: 爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
    """
    name = "itcast"
    allowed_domains = ["movie.douban.com"]
    start_urls = ["https://movie.douban.com/explore"]

    def parse(self, response):
        """
        每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数
        作用:
        负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
        生成需要下一页的URL请求。
        """
        # 存放老师信息的集合
        items = []

        a = response.xpath('//*[@id="app"]/div/div[2]/ul/li[1]/a/@href').extract()
        print("gengxuelong:--------->",a)
